One Model to Loop Them All: Elastic Latent Recurrence for Language Models
一个模型循环所有层：语言模型的弹性潜在循环
🧭 LLM 弹性深度与循环推理降本 ★ 深度解读
NVIDIA
通过 adaptive-delta 更新与 rank override 混合深度训练，循环 LLM 在 1 loop 不损精度并随 loop 增长持续提分
📌 工作参考价值（5 点）
- 单模型多档线上服务：ELR 提供一个 checkpoint 通过 loop count 旋钮控制精度/延迟，可替代为不同 latency tier 维护多个模型；在电商搜索、广告文案生成、Agent 长 rollout 等场景可直接按流量层级切换 1-4 loop，无需重训或增加参数。
- 低成本接入循环 LLM：延迟混合深度训练只在最后 25% token 开启，训练 FLOPs 仅约 +16%；已有非循环模型可通过 continuation 方式获得弹性深度，比从头训练循环模型更划算。
- MoE 推理优化技巧：cross-loop route replay 复用首 loop 专家路由，训练 update time 降低 11.7%，推理 forward 降低 1.2% 且精度几乎不变；对于电商大规模 MoE 模型，这是降低反复 router 计算的直接可抄方案。
- KV cache 与生成成本：last-loop KV caching 让 attention KV 显存保持 1-loop 水平，同时保留大部分深度收益；高 loop 还会缩短生成 tokens，适合长上下文 Agent/多轮对话降低显存与耗时。
- 避免 one-loop tax 的关键：必须用 adaptive-delta 更新和 within-step rank override 混合 1-loop 与多 loop 梯度；纯 synchronized sampling 或加权采样无法保住 1-loop 精度，做循环化改造时要避免直接沿用 Huginn 式训练。